
老显卡福音!美团开源首发INT8无损满血版DeepSeek R1
老显卡福音!美团开源首发INT8无损满血版DeepSeek R1满血版DeepSeek R1部署A100,基于INT8量化,相比BF16实现50%吞吐提升! 美团搜推机器学习团队最新开源,实现对DeepSeek R1模型基本无损的INT8精度量化。
来自主题: AI技术研报
5731 点击 2025-03-04 20:36
满血版DeepSeek R1部署A100,基于INT8量化,相比BF16实现50%吞吐提升! 美团搜推机器学习团队最新开源,实现对DeepSeek R1模型基本无损的INT8精度量化。